Hoàn Ôn tuy vậy vẫn muốn tiếp tục giáng tước hiệu của vị cựu hoàng đế, ông ta đề xuất giáng Tư Mã Dịch thành dân thường. Trử Thái hậu chống lại điều này và chỉ giáng Tư Mã Dịch thành Hải Tây công. Hoàn Ôn lo sợ rằng vị cựu hoàng đế có thể sẽ cố trở lại ngai vàng nên đã lưu đày Tư Mã Dịch đến Ngô huyện (吳縣, nay thuộc Tô Châu, Giang Tô) và đặt vị cựu hoàng đế dưới sự canh giữ nghiêm ngặt.

Vào mùa đông năm 372, quân nổi loạn nông dân Lô Tùng (盧悚) tuyên bố rằng có một chiếu chỉ của Trử Thái hậu để phục vị cho Phế Đế, và ông ta đã cử sứ giả đến chỗ Hải Tây công để thuyết phục ông tham gia nổi loạn. Ban đầu, Hải Tây công tin Lô Tùng, nhưng sau đó ông nhận ra rằng nếu Trử Thái hậu thật sự muốn phục vị cho mình thì bà sẽ cử cận binh triều đình đến hộ tống, và do đó nhận ra rằng không hề có sắc lệnh nào. Không có sự ủng hộ của vị cựu hoàng đế, cuộc nổi loạn của Lô Tùng đã thất bại.

Trong khi lưu đày, cựu hoàng đế luôn lo sợ trước cái chết, vì vậy ông đã dành thời gian của mình để thỏa mãn tửu sắc và âm nhạc, nhằm thể hiện cho Hoàn Ôn rằng ông không còn mong muốn hoạt động chính trị. Khi các thê thiếp của mình sinh con, ông đều không dám nuôi dưỡng chúng, và phải chọn giải pháp siết cổ vì nếu không sẽ chứng minh cho thiên hạ rằng Hoàn Ôn đã cáo buộc sai trái. Sau đó, Hoàn Ôn bắt đầu nới lỏng các hạn chế với ông. Ông mất năm 386 (sau Hoàn Ôn 13 năm) và được táng tại Ngô huyện. Vợ ông, Dữu Thái hậu, được cải táng để chôn cùng ông.